Из редакционной почты

Система экспертной оценки содержания вещания.

 

Как оценить качество экранной продукции: кинофильмов, телевизионных передач, видеофильмов? Ответ на этот вопрос, причем ответ однозначный, объективно обоснованный, безусловно необходим. Он необходим потому, что вытекающий из хозрасчетных отношений принцип оплаты по конечному продукту, как альтернатива уравниловке, затратному механизму, будет распространен в том или ином виде и на экранные зрелища. Он необходим и потому, что совершенствование кино, телевидения, видео, опирающееся на максимально полное использование резервов, предполагает точный учет и достижений, и болевых точек. Многие соглашаются с необходимостью ответа на поставленный вопрос, скептически оценивая возможность его получить. Ведь понятие качества телевизионных передач, кинофильмов — любого из произведений экранных искусств весьма многозначно и, что особенно осложняет его определение, опирается на довольно размытые, нечеткие критерии с очень широким спектром толкования.           

Кое-какую информацию удается собрать из стихийных оценок, содержащихся в письмах зрителей. Определенную лепту вносит профессиональная критика, репутация которой сейчас изрядно принижена парадными отчетами прошлых лет. Такая информация, даже если отвлечься от прочих многочисленных и хорошо известных недостатков, не может служить основной уже в силу ее выборочности, отсутствия системы и полноты в оценках, зависимости от вкуса и личных пристрастий.

Было бы ошибкой утверждать, что попытки найти действенный механизм оценки качества кинофильмов, телепередач не предпринимались. Они были — и с позиций социологии, и многое обещающей квалиметрии. Разные методики, разные подходы к решению задачи - и не только теоретические, а с выходом на эксперимент, к зрителю, с одним общим итогом отсутствия признанного результата. Он стал и продолжает оставаться питательной средой и главным аргументом для скептиков.

И все же решимся утверждать, что эту проблему, тем более как не имеющую ответа, считать закрытой рано. Скорее следует говорить об отсутствии должной настойчивости, продуманной и целенаправленной стратегии выхода на решение, когда первые же неудачи становились окончательным приговором. Сказался и низкий уровень профессионализма в постановке и проведении предваряющих эксперимент исследований, где энтузиазм нередко подменял строгую научную проработку. И не надо скрывать наличие такого источника неудач, как механизм субъективного торможения. Долгие годы, а в определенном отношении и сейчас, объективные оценки для иных творческих, отчасти и административных работников были нежелательны. К чему привела действовавшая, например в кинематографии, система авторитарных оценок достаточно убедительно, с исчерпывающей откровенностью показал V съезд Союза кинематографистов СССР.

Мы убеждены в необходимости поддержки любого шага, любой инициативы, направленной на решение задачи оценки качества экранной продукции. Имея в виду сказанное, публикуем пришедшее в редакцию письмо специалистов в области АСУ, которые предлагают свой вариант системы экспертной оценки содержания ТВ передач. В письме рассматриваются технические аспекты проблемы и поэтому за кадром остаются более существенные вопросы обоснованности самой системы, той полноты используемых в системе документов и методики отбора экспертов, которые обеспечили бы необходимую однозначность и объективность их коллективного решения. Тем не менее, на наш взгляд, в общей постановке и деталях сформулированного авторами предложения есть и рациональные элементы. Они  могут стать отправной точкой в обсуждении весьма актуальной проблемы, к участию в которой редакция приглашает всех заинтересованных специалистов.

 

Одной из причин все еще не полного соответствия радио и телепередач повысившимся современным требованиям, является отсутствие полноценной обратной связи с аудиторией. Письма зрителей (слушателей) не могут дать достаточной информации о передаче ее  создателям — неравномерность и задержки поступления откликов, незнание авторами писем целей и ограничений создателей радио- и ТВ передач, большой объем практически неформализованной информации, содержащейся в письмах, а также другие причины затрудняют   обобщение, оценку и выработку рекомендаций. Работы компетентных   профессиональных критиков посвящены ограниченному кругу передач, появляются несистематически, а главное не позволяют оценить все ее компоненты, творческий вклад каждого из ее создателей — от сценариста до видеоинженера. Рассматриваемая в статье система экспертной оценки содержания вещания (СЭОСВ), свободная от упомянутых выше недостатков, позволит своевременно иметь комплексную компетентную оценку любой передачи, вышедшей в эфир.

 

 

 

Схема функционирования системы экспертной оценки содержания вещания:

АС1 — содержание недельной программы вещания, документация передач; АС2 — определение состава экспертных групп для просмотра передач; АСЗ — подготовка опросных документов для оценки передач, распределение их между экспертами; АС4 — просмотр передач с заполнением опросных документов; АС5 — прием опросных документов; АС6 — ввод опросных документов в автоматизированную систему; АС7 — автоматизированная и ручная обработка результатов; AC8 — информация авторов передач: сводная и в виде цитат; АС9 — сопоставление с откликами телезрителей; АС10—ознакомление руководящих работников с результатами; АС11— сопоставление работы экспертов, работа с экспертами; - - - - — этапы поддающиеся автоматизации.

 

Описание недельной или месячной программы вещания АС1 (рисунок), включающее сведения по структуре передач, используется для определения конкретных групп экспертов, оценивающих каждую передачу АС2 и подготовки опросных документов АСЗ. При этом используется как информация по структуре вещания А1, так и сведения о персональном составе экспертных групп A3.

Состав экспертных групп может определяться ЭВМ автоматически с использованием сведений о квалификации и области компетенции каждого эксперта и учетом требовании по структуре группы экспертов, разработанных для каждой передачи. Подготовка опросных документов также должна быть автоматизирована. Каждый из них готовится с учетом структуры передачи с тем, чтобы дифференцированно оценить нужные ее элементы. Структура и содержание элементов документа могут учитывать область компетенции того эксперта, которому она направляется.

Опросные документы, например на предстоящую неделю, рассылаются экспертам А4. Эксперт просматривает передачу и одновременно заполняет соответствующую анкету. После этого отправляет анкеты в специализированное подразделение, занимающееся их обработкой А5. Анкеты вводятся в автоматизированную систему обработки информации с терминала микро-ЭВМ АС6. Вопросы должны иметь четкий и конкретный характер. Шифровка альтернатив и оформление документа должны способствовать облегчению его ввода в систему.

Автоматизированная обработка результатов АС7 экспертного опроса по передаче   позволяет обобщить мнение экспертов по интересующему кругу вопросов и подготовить сводки и подборки цитат из анкет для заинтересованных специалистов: авторов передачи А8, руководящих работников А10, экспертов A11. Объем и способы подачи информации каждой группе потребителей должны в максимальной степени способствовать совершенствованию и развитию содержания вещания, не должны создавать негативных явлений: обстановки нервозности, мелочной опеки и др.

Результаты функционирования системы могут использоваться:

при подведении итогов социалистического соревнования между работниками;

при определении направлений совершенствования содержания и структуры вещания;

для помощи в работе авторам передач;

в процессе определения размеров денежного вознаграждения;

как эмпирическая база для проведения разного рода научных исследований средств массовой информации;

для ретроспективного анализа информации по интересующему циклу или группе передач.

В системе должна обеспечиваться анонимность экспертов для потребителей информации. Заинтересованные лица не должны иметь возможности влиять на их работу. Это обеспечивается тем, что людям, непосредственно не связанным с обращением опросных документов, неизвестно, кому из экспертов направлены анкеты и по каким передачам. Эксперт подписывает возвращенный документ, но в автоматизированной системе хранится только личный код эксперта, принадлежность которого не разглашается.

В исключительных случаях анонимность с согласия эксперта может раскрываться. Это возможно, например в случае, когда авторов передачи заинтересовало какое-либо высказывание или предложение эксперта, переданное им во вторичном документе, и они хотели бы более подробно обсудить его содержание. В этом случае просто организуется встреча заинтересованных сторон и никакая дополнительная информация об эксперте не разглашается. В то же время внутри системы при планировании загрузки экспертов, а также при проведении работы с ними используется индивидуальная информация о каждом из них.

Каждый эксперт, начинающий работать в системе, заполняет анкету, в которой сообщает о себе необходимую информацию. В нее включаются, например, паспортные данные, сведения о семье, в частности о возрасте детей, они могут использоваться в процессе распределения анкет, например по детским передачам. При распределении экспертов могут учитываться и данные о профессиональной ориентации и занимаемых должностях, основные научные работы и публикации, а также индивидуальные интересы и вкусы. Все это, конечно же, должно быть отражено в анкете. Анкета является основанием для решения о первоначальном отнесении эксперта к той или иной группе по области компетенции и квалификации.

Недельное задание эксперту по просмотру (прослушиванию) передач выдается с учетом его интересов, пожеланий, занятости и результатов предыдущей работы в СЭОСВ. Сроки представления заполненных анкет регламентируются. Описание передачи на стандартных бланках передается в подразделение, обслуживающее СЭОСВ, авторами передачи. Оно вводится в ЭВМ, которая автоматически формирует текст анкеты с использованием имеющихся шаблонов для каждого типа элементов передач. Типами элементов передач являются, например песни, чтение стихов, отдельные сюжеты, выступления ведущего, отдельные части спортивной передачи и др. Должен быть разработан и утвержден классификатор элементов передач.

В опросный документ, направляемый эксперту, включаются сведения о передаче и ее элементах из формализованного описания, идентификация эксперта (фамилия, и., о., адрес), а также вопросы, касающиеся оценки содержания, качества передачи в целом и ее элементов.  В текст анкеты могут включаться текстовые заготовки предложений по совершенствованию оцениваемых элементов вещания. Это могут быть, например, незавершенные предложения типа: «Для улучшения структуры передачи необходимо…»; «В целом мне не понравилось...»; «Считаю целесообразным использование в последующих передачах следующих технических возможностей...» и др. После них оставляют место для записи экспертом своих предложений. Такая форма позволяет направить его внимание на интересующие аспекты передачи, получать более структурированную информацию. Основная же часть вопросов по оценке передачи и ее элементов должна иметь закрытый характер, т. е. включить полный набор альтернатив ответов, например в виде шкал: хорошо — плохо, нравится — не нравится, наличия или отсутствия какого-либо качества и др. По таким вопросам будет осуществляться автоматизированный анализ результатов опроса экспертов в соответствии с утвержденными методиками с целью получения вторичных документов для пользователей и сводных оценок. Отрытые вопросы требуют ручной доработки в целях классификации, оценки информативности и будут дополнять формализованные оценки.

Произведем ориентировочный расчет объема информации, подлежащей переработке. Недельное вещание ЦТ включает 250—300 передач, передаваемых по трем программам. Отталкиваясь от имеющихся в литературе [1] данных можно предположить, что необходимо наличие выборки в 20—40 анкет по каждой передаче. Тогда наибольшее число анкет составит 40х400= 12000 в неделю. Следует отметить, что эта цифра завышена, так как определенные передачи могут исключаться из рассмотрения (например многие художественные фильмы,   мультфильмы, повторы передач и др.). Число экспертов, участвующих в просмотре конкретной передачи, может быть уменьшено в соответствии с необходимой точностью, выявленной при эксплуатации системы.

Фактическое число анкет, на наш взгляд, составит 5—7 тыс. в неделю, т. е. при оценке всего содержания вещания ЦТ потребуется производительность по вводу информации около 1000 анкет в день. Процесс создания и внедрения СЭОСВ должен, на наш взгляд, предваряться разработкой и опытной эксплуатацией макета системы.

Рассмотрим более подробно один из вариантов такого макета и технические вопросы, связанные с его функционированием.

Включим в макет системы 10 еженедельных передач, пользующихся популярностью у зрителей:

1. Резонанс (90 мин).

2. Сельский час (60 мин).

3. Служу Советскому Союзу (60 мин).

4. Клуб путешественников (60 мин).

5. Очевидное  —  невероятное (60 мин).

6. В мире животных (60 мин).

7. Международная  панорама (45 мин).

8. Здоровье (45 мин).

9. Утренняя почта (30 мин).

10. Будильник (30 мин). Общая продолжительность вещания, охваченного СЭОСВ, при этом составит 9 ч. При распределении 30 анкет на каждую передачу, в неделю будет обрабатываться 300 анкет (по 60 анкет в день). С указанным объемом работы по вводу анкет в базу данных справится один человек. Разработка и эксплуатация макета системы позволит получить информацию, достаточную для внедрения   системы в полном объеме, отработать формы и методы работы различных элементов системы: экспертов, обслуживающего подразделения, технических средств, разработать необходимые рекомендации, уточнить объемы и области наиболее эффективного внедрения системы.

Остановимся более подробно на технических средствах, необходимых для работы системы. Для ввода данных и текущей обработки информации, подготовки анкет достаточно любой микро-ЭВМ имеющей оперативную память 64—256 Кбайт и память прямого доступа на жестких и (или) гибких дисках, например Искра—1030, ДВК-2М, ДВК-З, ЕС-1840, СМ-1800 и др. Желательно наличие сервисного математического обеспечения для обработки текстов, управления базами данных небольшого объема.

При решении больших задач, например при ретроспективном анализе информации по передаче (1,5 — 2 тыс. анкет по одной передаче в год), необходимо использовать ЭВМ средней производительности, например серии ЕС. Желательно наличие интерфейса между применяемой микро-ЭВМ и ЕС, а также программного обеспечения, обеспечивающего их взаимодействие. Это позволит организовать систему обработки информации, в которой для решения больших задач привлекаются ресурсы ЭВМ верхнего уровня.

Наличие в системе продуманного и отработанного в процессе опытной эксплуатации регламента процедур получения и использования информации позволит нейтрализовать возможные в принципе негативные явления: искажения в поступающей информации, обстановку нервозности, поверхностность рекомендаций и др. По существу, формируется административно-социальный механизм, обеспечивающий постоянное совершенствование содержания вещания, конкретный учет требований партийных и государственных органов, пожеланий аудитории в повседневной практике формирования передачи и программ. Важно и то, что СЭОСВ при правильном к ней отношении в принципе дает коллективную оценку результатов труда авторов передач, свободную от субъективного налета, и позволяет учитывать и своевременно направлять по соответствующему адресу все заслуживающие внимание замечания и предложения специалистов.

КЫЧКИН Д. И., ЛУНЕВ Е А., РЕЙНГОЛЬД Л. А.

Литература

1. Бешелев С. Д.,   Гурвич Ф. Г. Математико-статистические методы экспертных оценок. — 2 изд. — М.: Статистика, 1980.